{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['title', 'content'],\n",
       "        num_rows: 5850\n",
       "    })\n",
       "    validation: Dataset({\n",
       "        features: ['title', 'content'],\n",
       "        num_rows: 1679\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# datasets 用法说明\n",
    "# 数据集名称 madao33/new-title-chinese\n",
    "from datasets import *\n",
    "\n",
    "# dataset = load_dataset(\"madao33/new-title-chinese\")\n",
    "dataset = load_dataset(\"D:/code/datasets/huggingface/new-title-chinese\")\n",
    "dataset\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [],
   "source": [
    "# https://huggingface.co/datasets/nyu-mll/glue\n",
    "# 处理多任务的数据集合中选择name为cola的数据集\n",
    "# from datasets import *\n",
    "# dataset = load_dataset(\"nyu-mll/glue\",name=\"cola\")\n",
    "# dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 5850\n",
       "})"
      ]
     },
     "execution_count": 76,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 按照数据集合划分进行加载\n",
    "# 数据集名称 madao33/new-title-chinese\n",
    "from datasets import *\n",
    "\n",
    "# dataset = load_dataset(\"madao33/new-title-chinese\")\n",
    "dataset = load_dataset(\"D:/code/datasets/huggingface/new-title-chinese\",split=\"train\")\n",
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 200\n",
       "})"
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 切片方式使用 也允许百分数填写\n",
    "# dataset = load_dataset(\"madao33/new-title-chinese\")\n",
    "dataset = load_dataset(\"D:/code/datasets/huggingface/new-title-chinese\",split=\"train[100:300]\")\n",
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'title': '把对上负责与对下负责统一起来',\n",
       " 'content': '对上负责与对下负责并不矛盾，二者统一于对党和人民事业的高度负责之中\\n近日，湖南省委就整治形式主义、官僚主义问题打出重拳。省委办公厅通知规定，除党中央、国务院和省委、省政府明确规定外，省直部门一律不得对下签订“责任状”，一律不得擅自设立“一票否决”事项。解决上级部门问责泛化的问题，帮助基层干部把精力更多投向对人民负责、为人民担当的实际工作中，既为基层减轻了负担，也体现出对“不忘初心、牢记使命”主题教育要求的有力贯彻。\\n“把对上负责与对下负责统一起来”。今年3月，中办印发了《关于解决形式主义突出问题为基层减负的通知》，明确提出树立正确政绩观、切实保护干部干事创业的积极性等要求。从基层负担重的问题看，无论是以会议传达会议、以文件落实文件，还是滥用“一票否决”、动辄签“责任状”，抑或是“数字里出政绩”“材料中见成效”，片面理解、人为割裂对上负责与对下负责是一个重要原因。唯上不唯实、唯己不唯民、唯官不唯事的问题，与其说是“对上负责”，不如说是“对上糊弄”。眼睛朝上不朝下，只考虑领导满意、不顾及基层干部群众感受，种种形式主义、官僚主义现象无疑是党和人民事业发展的大敌。由此而言，做好为基层减负工作，力戒形式主义、官僚主义，必须坚持对上负责与对下负责相统一。\\n对上负责与对下负责并不矛盾，二者统一于对党和人民事业的高度负责之中。“上面千条线，下面一根针”，构成基层工作的基本面。“穿针引线”意味着，基层干部既要“向上看”，不折不扣把中央的政策传递好、落实好；也要“向下看”，用群众的获得感和满意度检验工作成效。与此同时，“上面千把锤，下面一根钉”等现象，同样应引起重视。解决部分干部“眼睛朝上不朝下”问题，需要对一些地方过多过滥的督查、考核、巡察进行压减合并，严格控制“一票否决”事项，引导基层干部集中精力促发展、惠民生。\\n把对上负责与对下负责统一起来，从方法论上来说，就是要坚持理论联系实际，吃透上情、摸清下情，充分发扬创新创造能力。去年年底，中共中央政治局会议提出，要“创造性贯彻落实党中央方针政策和工作部署”。记者注意到，有的地方贯彻上级文件规定，一味照抄照搬，看不出本地特点。凡事都要因地制宜，落实上级政策，必须本着实事求是原则，发挥干事创业主动性，把上级要求贯彻到实际中，体现出成效来。从实处着眼、用实干考量、以实绩说话，才能真正实现对上与对下的统一。\\n“任何事情都要向上看看，向下看看。”谈到地方干部的工作职责，习近平总书记提出明确要求。在实际工作中把握好“把对上负责与对下负责统一起来”这一要求，不仅能把基层党员干部从形式主义窠臼中解放出来，更能让各级机关完成好政令下传、民情上达的工作，确保党中央方针政策和工作部署落到实处。\\n（作者系人民日报湖南分社记者）'}"
      ]
     },
     "execution_count": 78,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['望海楼美国打“台湾牌”是危险的赌博',\n",
       " '大力推进高校治理能力建设',\n",
       " '坚持事业为上选贤任能',\n",
       " '“大朋友”的话儿记心头',\n",
       " '用好可持续发展这把“金钥匙”',\n",
       " '跨越雄关，我们走在大路上',\n",
       " '脱贫奇迹彰显政治优势',\n",
       " '拱卫亿万人共同的绿色梦想',\n",
       " '为党育人、为国育才',\n",
       " '净化网络语言']"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset = load_dataset(\"D:/code/datasets/huggingface/new-title-chinese\")\n",
    "dataset[\"train\"][\"title\"][:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "({'title': Value(dtype='string', id=None),\n",
       "  'content': Value(dtype='string', id=None)},\n",
       " ['title', 'content'])"
      ]
     },
     "execution_count": 80,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset[\"train\"].features,dataset[\"train\"].column_names"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['title', 'content'],\n",
       "        num_rows: 5265\n",
       "    })\n",
       "    test: Dataset({\n",
       "        features: ['title', 'content'],\n",
       "        num_rows: 585\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 数据集划分\n",
    "dataset = load_dataset(\"D:/code/datasets/huggingface/new-title-chinese\")\n",
    "train_dataset = dataset[\"train\"]\n",
    "# 如果是分类问题，则需要加上 stratify_by_column=\"label\" 参数，用于更加均衡的拆分\n",
    "train_dataset.train_test_split(test_size=0.1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 2\n",
       "})"
      ]
     },
     "execution_count": 82,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 数据的选取和过滤\n",
    "dataset[\"train\"].sellect([0,1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'title': ['望海楼美国打“台湾牌”是危险的赌博',\n",
       "  '大力推进高校治理能力建设',\n",
       "  '坚持事业为上选贤任能',\n",
       "  '用好可持续发展这把“金钥匙”',\n",
       "  '跨越雄关，我们走在大路上',\n",
       "  '脱贫奇迹彰显政治优势',\n",
       "  '拱卫亿万人共同的绿色梦想',\n",
       "  '为党育人、为国育才',\n",
       "  '用心叵测的美国政客哪有资格谈“宗教自由”？',\n",
       "  '人民！人民！一切为了人民！'],\n",
       " 'content': ['近期，美国国会众院通过法案，重申美国对台湾的承诺。对此，中国外交部发言人表示，有关法案严重违反一个中国原则和中美三个联合公报规定，粗暴干涉中国内政，中方对此坚决反对并已向美方提出严正交涉。\\n事实上，中国高度关注美国国内打“台湾牌”、挑战一中原则的危险动向。近年来，作为“亲台”势力大本营的美国国会动作不断，先后通过“与台湾交往法”“亚洲再保证倡议法”等一系列“挺台”法案，“2019财年国防授权法案”也多处触及台湾问题。今年3月，美参院亲台议员再抛“台湾保证法”草案。众院议员继而在4月提出众院版的草案并在近期通过。上述法案的核心目标是强化美台关系，并将台作为美“印太战略”的重要伙伴。同时，“亲台”议员还有意制造事端。今年2月，5名共和党参议员致信众议院议长，促其邀请台湾地区领导人在国会上发表讲话。这一动议显然有悖于美国与台湾的非官方关系，其用心是实质性改变美台关系定位。\\n上述动向出现并非偶然。在中美建交40周年之际，两国关系摩擦加剧，所谓“中国威胁论”再次沉渣泛起。美国对华认知出现严重偏差，对华政策中负面因素上升，保守人士甚至成立了“当前中国威胁委员会”。在此背景下，美国将台海关系作为战略抓手，通过打“台湾牌”在双边关系中增加筹码。特朗普就任后，国会对总统外交政策的约束力和塑造力加强。其实国会推动通过涉台法案对行政部门不具约束力，美政府在2018年并未提升美台官员互访级别，美军舰也没有“访问”台湾港口，保持着某种克制。但从美总统签署国会通过的法案可以看出，国会对外交产生了影响。立法也为政府对台政策提供更大空间。\\n然而，美国需要认真衡量打“台湾牌”成本。首先是美国应对危机的代价。美方官员和学者已明确发出警告，美国卷入台湾问题得不偿失。美国学者曾在媒体发文指出，如果台海爆发危机，美国可能需要“援助”台湾，进而导致新的冷战乃至与中国大陆的冲突。但如果美国让台湾自己面对，则有损美国的信誉，影响美盟友对同盟关系的支持。其次是对中美关系的危害。历史证明，中美合则两利、斗则两伤。中美关系是当今世界最重要的双边关系之一，保持中美关系的稳定发展，不仅符合两国和两国人民的根本利益，也是国际社会的普遍期待。美国蓄意挑战台湾问题的底线，加剧中美关系的复杂性和不确定性，损害两国在重要领域合作，损人又害己。\\n美国打“台湾牌”是一场危险的赌博。台湾问题是中国核心利益，中国政府和人民决不会对此坐视不理。中国敦促美方恪守一个中国原则和中美三个联合公报规定，阻止美国会审议推进有关法案，妥善处理涉台问题。美国悬崖勒马，才是明智之举。\\n（作者系中国国际问题研究院国际战略研究所副所长）',\n",
       "  '在推进“双一流”高校建设进程中，我们要紧紧围绕为党育人、为国育才，找准问题、破解难题，以一流意识和担当精神，大力推进高校的治理能力建设。\\n增强政治引领力。坚持党对高校工作的全面领导，始终把政治建设摆在首位，增强校党委的政治领导力，全面推进党的建设各项工作。落实立德树人根本任务，把培养社会主义建设者和接班人放在中心位置。紧紧抓住思想政治工作这条生命线，全面加强师生思想政治工作，推进“三全育人”综合改革，将思想政治工作贯穿学校教育管理服务全过程，努力让学生成为德才兼备、全面发展的人才。\\n提升人才聚集力。人才是创新的核心要素，创新驱动本质上是人才驱动。要坚持引育并举，建立绿色通道，探索知名专家举荐制，完善“一事一议”支持机制。在大力支持自然科学人才队伍建设的同时，实施哲学社会科学人才工程。立足实际，在条件成熟的学院探索“一院一策”改革。创新科研组织形式，为人才成长创设空间，建设更加崇尚学术、更加追求卓越、更加关爱学生、更加担当有为的学术共同体。\\n培养学生竞争力。遵循学生成长成才的规律培育人才，着力培养具有国际竞争力的拔尖创新人才和各类专门人才，使优势学科、优秀教师、优质资源、优良环境围绕立德树人的根本任务配置。淘汰“水课”，打造“金课”，全力打造世界一流本科教育。深入推进研究生教育综合改革，加强事关国家重大战略的高精尖急缺人才培养，建设具有国际竞争力的研究生教育。\\n激发科技创新力。在国家急需发展的领域挑大梁，就要更加聚焦科技前沿和国家需求，狠抓平台建设，包括加快牵头“武汉光源”建设步伐，积极参与国家实验室建设，建立校级大型科研仪器设备共享平台。关键核心技术领域“卡脖子”问题，归根结底是基础科学研究薄弱。要加大基础研究的支持力度，推进理论、技术和方法创新，鼓励支持重大原创和颠覆性技术创新，催生一批高水平、原创性研究成果。\\n发展社会服务力。在贡献和服务中体现价值，推动合作共建、多元投入的格局，大力推进政产学研用结合，强化科技成果转移转化及产业化。探索校城融合发展、校地联动发展的新模式，深度融入地方创新发展网络，为地方经济社会发展提供人才支撑，不断拓展和优化社会服务网络。\\n涵育文化软实力。加快体制机制改革，优化学校、学部、学院三级评审机制，充分发挥优秀学者特别是德才兼备的年轻学者在学术治理中的重要作用。牢固树立一流意识、紧紧围绕一流目标、认真执行一流标准，让成就一流事业成为普遍追求和行动自觉。培育具有强大凝聚力的大学文化，营造积极团结、向上向善、干事创业的氛围，让大学成为吸引和留住一大批优秀人才建功立业的沃土，让敢干事、肯干事、能干事的人有更多的荣誉感和获得感。\\n建设中国特色、世界一流大学不是等得来、喊得来的，而是脚踏实地拼出来、干出来的。对标一流，深化改革，坚持按章程办学，构建以一流质量标准为核心的制度规范体系，扎实推进学校综合改革，探索更具活力、更富效率的管理体制和运行机制，我们就一定能构建起具有中国特色的现代大学治理体系，进一步提升管理服务水平和工作效能。\\n（作者系武汉大学校长）',\n",
       "  '育才造士，为国之本。党的干部是党和国家事业的中坚力量。习近平总书记深刻指出，“历史和现实都表明，一个政党、一个国家能不能不断培养出优秀领导人才，在很大程度上决定着这个政党、这个国家的兴衰存亡。”新修订的《党政领导干部选拔任用工作条例》，坚持以推进伟大事业为导向，将“事业为上、人岗相适、人事相宜”作为一条重要原则，为做好新时代选人用人工作、建设忠诚干净担当的高素质专业化干部队伍，进一步指明了正确方向。\\n党的干部总是与党的事业紧紧连在一起，伟大事业需要高素质干部，干部要在事业发展中锻炼成长。党的十八大以来，党和国家事业之所以取得历史性成就、发生历史性变革，根本原因是有以习近平同志为核心的党中央坚强领导，有习近平新时代中国特色社会主义思想的科学指引，同时也与广大干部奋发有为、改革创新、干事创业、担当奉献密不可分。当前，中国特色社会主义进入新时代，站在新的历史起点上，我们党要肩负起新的历史使命，必须贯彻新时代党的组织路线，坚持从党和人民事业需要出发选干部、用干部，突出实践实干选贤能，坚持有为有位聚英才，真正做到事业发展需要什么样的人就用什么样的人，什么样的人最合适就选什么样的人。\\n为官择人者治，为人择官者乱。新修订的《干部任用条例》，通篇贯穿事业导向、事业要求，在提出深入考察干部政治素质、道德品行、作风素养、廉政情况的同时，强调要突出工作实绩、履职尽责等方面的考察，大力选拔敢于负责、勇于担当、善于作为、实绩突出的优秀干部。贯彻落实条例，必须正确把握事业发展需要和干部成长进步的关系，知事识人、依事择人、精准选人，把善于统筹推进“五位一体”总体布局和协调推进“四个全面”战略布局，贯彻落实新发展理念、推进高质量发展、深化供给侧结构性改革、打好“三大攻坚战”的优秀干部及时发现出来、合理使用起来，进而示范引领更多干部勇于担当作为，心无旁骛干事业、坚定信心促发展。\\n不拒众流，方为江海。五湖四海的事业，需要五湖四海的人来干。新修订的《干部任用条例》，鲜明提出要注意从企业、高等学校、科研院所等单位以及社会组织中发现选拔党政领导干部，对推动国有企事业单位、社会组织干部人才及时进入党政机关作出制度性安排，这是我们党选人用人成功经验的深刻总结和运用。贯彻落实条例，就要坚持干部工作一盘棋，进一步开阔视野、拓宽渠道，放眼各条战线、各个领域、各个行业、各个层级，充分盘活干部资源，广开进贤之路。要坚持公道正派、公正用人，选拔干部论能力、看水平、凭实绩，而不能搞平衡照顾、论资排辈、降格以求，更不能搞小圈子、任人唯亲，在少数人中选人。要突出政治过硬、本领高强，深入考察识别干部的专业能力、专业素养、专业精神。坚持立足当前、着眼长远，注重发现培养和选拔使用在改革发展稳定一线特别是在重大斗争中经过磨砺的优秀年轻干部，为党和国家事业发展源源不断地注入生机和活力。要坚持严管和厚爱结合、激励和约束并重，认真贯彻习近平总书记关于“三个区分开来”的重要要求，宽容干部在改革创新中的失误错误，保护干部干事创业的积极性。对那些符合有关规定给予容错的干部，要认真落实条例的要求，给予客观公正对待，为他们重整旗鼓、轻装上阵、贡献才智搭建平台。\\n宏伟的事业，离不开高素质专业化的干部。各级党委（党组）及其组织人事部门，要以贯彻落实新修订的《干部任用条例》为契机，坚持党的原则第一、党的事业第一、人民利益第一，大力选拔党和人民需要的好干部，为推动中国特色社会主义伟大事业乘风破浪、不断前进提供坚强组织保证。\\n《 人民日报 》（ 2019年03月20日\\xa0\\xa0 06 版）\\n',\n",
       "  '11月22日晚，习近平主席在北京以视频方式出席二十国集团领导人第十五次峰会第二阶段会议，重点阐述关于可持续发展问题的看法。他指出，要打造包容性、可持续、有韧性的未来，不断推进全球减贫事业至关重要。面对新冠肺炎疫情冲击，我们比以往任何时候都更需要拿出切实举措。\\n当前，世纪疫情和百年变局交织、全球经济陷入严重衰退、世界进入动荡变革期。破解一系列全球性问题，可持续发展是一把 “金钥匙”。能不能用好这把“金钥匙”，关乎各国眼前乃至长远利益，考验人类智慧与道义。\\n用好这把“金钥匙”需要共商共建。一个人的努力是加法，一个团队的努力是乘法。面对重重挑战，二十国集团应加强沟通交流、团结合作，以落实联合国2030年可持续发展议程为引领，加大支持发展中国家克服疫情，推动经济复苏和增长，缩小数字鸿沟，努力营造良好的国际经济环境。同时，减少碳排放，促进绿色低碳发展，合力应对气候变化和生态环境恶化等全球性挑战。\\n用好这把“金钥匙”需要共创共享。消除贫困是人类的共同使命。改革开放40多年来，中国7亿多人摆脱贫困，对世界减贫贡献率超过70%。时下，中国即将提前10年实现《联合国2030年可持续发展议程》减贫目标，完成这项对中华民族、对人类社会都具有重大意义的伟业。“中国式扶贫”作为全球可持续发展的典范，为世界各国尤其是贫困国家提供了参考方案。作为二十国集团重要一员，中国愿与世界分享“中国式扶贫”的经验做法，提供减贫的“中国方案”，同各国一道，合力建设远离贫困、共同发展的美好世界。\\n“万物并育而不相害，道并行而不相悖。”今天的世界，人类交往比过去任何时候都更深入、更广泛、更紧密。面对新冠疫情对世界政治和经济生活带来的巨大冲击，世界各国坚持用好可持续发展这把“金钥匙”，合作共治、开放共享、互利共赢，必将穿过全球不确定性迷雾，走出一条包容性、可持续、有韧性的康庄大道。（文字：宋燕 海报：张倩）',\n",
       "  '时值冬日，我们来到了2019年的岁尾。在二〇一九年新年贺词中，习近平主席勉励大家“我们都在努力奔跑，我们都是追梦人”，为无数追梦人增添奔跑的豪情。2019年，在一路奔跑中，我们度过了新中国70华诞；2020年，我们将奔向全面小康。如何在历史的交汇点上开创更加美好的未来？人民日报从12月27日起推出系列评论，和读者一起奔跑、继续追梦。\\n——编 者\\n时间是万物的尺度，刻写下中国人民闯关夺隘的不平凡历程。站在2019年的岁尾回望，一连串闪光的时间刻度，标注着这个不平凡的年份。\\n对很多人来说，若干年后回想起2019年，最难以忘记的可能就是新中国70华诞盛典。当银鹰刺破苍穹，烟花照亮天空，人们比以往任何时候都更加真切地感受到国家的繁荣富强，也比以往任何时候都油然而生一种自豪感。70年来，我们越过高山，跨过平原，也经历过蜿蜒曲折的林中路。如今的中国大地上，高铁飞驰、道路通达，人畅其行、货畅其流，昭示着我们正昂首阔步于一条人间正道上。连接昨天与今天、照亮来路与征途的，是我们坚持真理、走自己路的执着探索。广阔的追梦空间，为无数勤劳勇敢的追梦人打开。\\n世界之大，光阴之长，需要用奋斗者的脚步去丈量。2019年，人们的记忆中留下了一连串闪光的名字。从荣获“共和国勋章”的张富清、袁隆平、屠呦呦等共和国功臣，到来自工矿车间、科研一线、村镇社区、大中小学的“最美奋斗者”；从朱有勇、卢永根、李夏等“时代楷模”，到奋战在脱贫一线的驻村干部、第一书记，千千万万个劳动者、追梦人，用自己的奉献、爱心和拼搏，汇聚起国家奔腾向前的历史潮流，构筑成一个民族的精神丰碑。亿万人胼手胝足的勤劳奋斗，不仅成为中国人民70年的集体记忆，也共同凝聚成新时代铿锵的雄浑乐章。正如习近平总书记强调的，“人民是共和国的坚实根基，人民是我们执政的最大底气。”\\n跨越一道道雄关的中国，行进在更高水平对外开放之路上，成为经济全球化的坚定维护者。2019年，从第二届“一带一路”国际合作高峰论坛，到亚洲文明对话大会，再到吸引全世界目光的第二届中国国际进口博览会，中国展示出扩大开放的坚定决心，也显示出经济发展的旺盛活力和巨大潜力。现在，不论是北京茶饮店里的美国夏威夷新鲜水果，上海商场橱窗里的孟加拉国手工艺品，还是携手中国电商的意大利企业的“网红”小家电，都让人看到越开越大的中国开放之门。正如国际人士的评价：“今天的中国正在搭建三座桥：通往世界之桥，通往繁荣之桥，通往未来之桥。”展望未来，中国将以更多务实行动和举措，推动经济全球化的时代浪潮奔流向前。\\n看似寻常最奇崛，成如容易却艰辛。今天，我们的道路越走越宽广、我们的理论不断发展、我们的制度日趋成熟、我们的文化持续繁荣。2019年10月召开的党的十九届四中全会，系统总结了我国国家制度和国家治理体系的显著优势，目的就是推动全党全国各族人民坚定制度自信，使我国国家制度和治理体系的显著优势更加充分地发挥出来。习近平总书记强调，“当今世界，要说哪个政党、哪个国家、哪个民族能够自信的话，那中国共产党、中华人民共和国、中华民族是最有理由自信的。”我们的自信和底气，来自对历史与现实、理论与实践的把握，来自对时与势、破与立的思考。面向未来，“中国之治”必将在国际竞争中赢得更大的比较优势，展现出更为旺盛的生机活力。\\n在新的起点上展望未来，我们深知，道阻且长，行则将至。前行道路上不可避免有这样那样的风险挑战，但路走对了就不怕山高路远。迈向新征程，志不改、道不变，我们有底气、更有信心把发展的主动权牢牢掌握在自己手中，一步步朝着实现中国梦而前行。',\n",
       "  '中国的减贫奇迹，引发了全世界的广泛关注。许多国际观察家都在解读中国的“脱贫密码”。习近平总书记的一段话给出了答案：“我们在脱贫攻坚领域取得了前所未有的成就，彰显了中国共产党领导和我国社会主义制度的政治优势。”\\n贫有百样，困有千种。各地自然禀赋、经济基础、发展阶段不同，贫困的源头和特征各异，要解决超大规模国家的贫困问题，难度可想而知，甚至曾被一些人称为“不可能完成的任务”。然而，这些年来，人们看到各种要素向农村贫困地区汇集，一批批党员干部扎根贫困地区，一个上下联动、左右衔接的扶贫工作系统有序运转，贫中之贫、困中之困的堡垒逐一被攻破……是什么力量推动我们知难攻难、知重负重？是什么力量在确保不获全胜、决不收兵？这个力量，就是中国共产党领导和我国社会主义制度的政治优势。\\n政治优势，来自党的集中统一领导。世界上从来没有哪个政党，像中国共产党这样把脱贫攻坚作为优先政策目标，并且集中全党全国力量持之以恒投入其中，在接续奋斗中，创造脱贫攻坚的历史伟业。从脱贫攻坚战打响，到攻克贫困堡垒，人们总是喜欢用战役来形容脱贫攻坚，党中央是坐镇中军帐的“帅”，车马炮各展其长，一盘棋大局分明，形成万众一心、无坚不摧的强大合力。五级书记抓扶贫，党员干部冲在最前、守到最后，一面面党旗在脱贫一线高高飘扬，成为“中国特色社会主义制度的最大优势是中国共产党领导”的生动诠释。\\n政治优势，来自中国特色社会主义集中力量办大事的制度优势。“积力之所举，则无不胜也。”在曾经深度贫困的四川凉山，一支支工作队扎进贫困山村；在贵州大石山区，当地土特产飞向全国；在曾经贫瘠的宁夏西海固，一个个东西扶贫协作项目带来新活力……从东北林海到西南边陲，从沿海发达地区到深度贫困地区，优质项目在贫困地区落地，帮扶平台与贫困群众对接。党政机关、企事业单位、社会组织都积极投身到脱贫攻坚行动中，真正做到了全民动员、全民参与，画出了脱贫攻坚的最大同心圆。\\n政治优势，来自中国特色脱贫攻坚制度体系。从实行“中央统筹、省负总责、市县抓落实”的工作机制，到建立各司其职、各负其责的责任体系，精准识别、精准脱贫的工作体系，上下联动、统一协调的政策体系，保障资金、强化人力的投入体系，因地制宜、因村因户因人施策的帮扶体系，广泛参与、合力攻坚的社会动员体系，多渠道全方位的监督体系和最严格的考核评估体系……党的十八大以来，政府、市场、社会协同参与的大扶贫格局逐步形成。正是这些具体的制度安排，形成了中国特色脱贫攻坚制度体系，确保脱贫攻坚始终在制度的轨道上砥砺前行。\\n2020年以来，即便遭遇新冠肺炎疫情冲击，中国仍然能够克服各种风险挑战，如期完成新时代脱贫攻坚目标任务，充分证明政治优势的重要作用。把中国特色社会主义制度的显著优势发挥好，我们一定能在脱贫攻坚战全面胜利之后，继续走好乡村振兴之路，在中华民族伟大复兴的浩荡征程中，书写新的辉煌篇章。',\n",
       "  '原标题：拱卫亿万人共同的绿色梦想——学习领会习近平主席在2019年中国北京世界园艺博览会开幕式上的重要讲话精神系列评论之一\\n人与自然在这里相遇，中国与世界在这里交互。4月28日，2019年中国北京世界园艺博览会拉开帷幕，习近平主席在开幕式上发表重要讲话，阐释“绿色生活，美丽家园”的主题，重申“生态兴则文明兴，生态衰则文明衰”的观点，描摹“遥望星空、看见青山、闻到花香”的未来，提出“五个追求”的要求，传递“道阻且长，行则将至”的决心，发出全球“同筑生态文明之基，同走绿色发展之路”的邀约。\\n北京世园会是美丽中国建设的一个缩影，绿色中国建设的一张名片。留下约5万棵树的原树林，建设长约20公里的生态草沟，构建湿地缓冲区减少对多物种的干扰，生态优先的理念在这里落地。人工营造梯田，选用覆土建筑结构、搭建1024块光伏玻璃，“有生命”“会呼吸”的中国馆浓缩了师法自然的传统智慧和天人合一的崇高追求。浙江园中“海绵城市”理念的影子，江西园中天人合一哲学的演绎，北京园中智能节水灌溉的科技色彩，无一不是对中国生态文明建设探索的再现。\\n从贫瘠山地到万花之园，北京世园会960公顷的园区内，“绿色”的纯度十足。放眼960万平方公里的中国大地，绿色的实践宏阔而生动，绿色的力量积蓄并拓展，绿色的梦想众人珍视和拱卫。现在的中国，生态文明建设已经纳入中国国家发展总体布局，建设美丽中国已经成为中国人民心向往之的奋斗目标。中国生态文明建设进入了快车道，天更蓝、山更绿、水更清将不断展现在世人面前。\\n“绿水青山”“金山银山”的“两山论”，开辟了人与自然和谐发展的现代化建设新格局；“良好生态环境是最普惠民生福祉”，开启了生态利民、生态为民的新时代；“山水林田湖是一个生命共同体”，开创了全方位、系统性生态治理的新路径……党的十八大以来，以习近平同志为核心的党中央，深刻回答了为什么建设生态文明，建设怎样的生态文明，怎样建设生态文明的重要理论和实践问题，为生态文明建设提供了根本遵循。把生态文明写入执政纲领，务实践行绿色发展和生活理念，携手各国共谋治理之策……中国绿色发展道路越走越宽广，深刻改变着社会的面貌和人们的生活。\\n“中国积极有效地推进绿色发展理念，付出巨大努力来改善环境、保护自然，这对全世界具有示范作用。”中国生态文明建设的生动探索和巨大成就，担得起国际社会如此赞誉。但面对三期叠加的现实——压力叠加、负重前行的关键期，提供更多优质生态产品以满足人民日益增长的优美生态环境需要的攻坚期，有条件有能力解决生态环境突出问题的窗口期，我们没有理由松懈和停滞，唯有咬紧牙关，爬坡过坎，只争朝夕，持之以恒。\\n以北京世园会为契机，走好新时代生态文明建设之路，一个人与自然和谐共生的美丽中国必将实现；将这片园区所阐释的绿色发展理念传导至世界各个角落，世界各国同筑生态文明之基，同走绿色发展之路，一个更加“绿色”的地球必将承载人类文明永续发展。',\n",
       "  '在第三十六个教师节到来之际，习近平总书记代表党中央，向全国广大教师和教育工作者致以节日的祝贺和诚挚的慰问。总书记希望广大教师不忘立德树人初心，牢记为党育人、为国育才使命，积极探索新时代教育教学方法，不断提升教书育人本领，为培养德智体美劳全面发展的社会主义建设者和接班人作出新的更大贡献。\\n亲切关怀心暖如春，殷殷嘱托催人奋进。习近平总书记充分肯定了全国广大教师在抗击疫情和“停课不停学、不停教”两条战线上作出的重要贡献，高度赞扬了人民教师在决胜全面建成小康社会之路上用爱心和智慧阻断贫困代际传递的高尚师德和责任担当，激励着广大教师不忘初心、持之以恒，为中国特色社会主义伟大事业育人育才，为实现中华民族伟大复兴凝魂筑梦。\\n教师是立教之本、兴教之源。从身体力行弘扬尊师重教之风，到深入校园走访倾听教师心声，再到深刻阐释教育改革意见……习近平总书记始终高度重视教育工作，真切关心教师发展，亲自部署、亲自推动，全面深化新时代教师队伍建设改革，大力提高乡村教师补助待遇，全面完善中小学教师职称评定制度，以实际行动为广大教师排忧解难，以深化改革激励广大教师全身心投入教育事业，为新时代人民教师提供了广阔舞台。\\n立业先立人，立人先立德。广大教师要不忘立德树人初心，坚持以德立身，自觉践行社会主义核心价值观，带头弘扬中华民族传统美德，为学生树立道德榜样；坚持以德立学，将严谨、严肃、严格的优良治学风气贯穿教育始终，在言传身教中引导学生正确对待知识和真理，教育其树立崇高理想、矢志报效祖国；坚持以德施教，在点滴生活、知识传授、价值评判等方方面面，使学生明大德、守公德、严私德，让道德力量内化于心、外化于行。\\n教育的根本任务是立德树人。广大教师要牢记为党育人、为国育才使命，一方面，解决好“培养什么人”这个首要问题，坚持以习近平新时代中国特色社会主义思想为统领，把培养社会主义建设者和接班人作为根本任务，培养一代又一代拥护中国共产党领导和我国社会主义制度、立志为中国特色社会主义事业奋斗终身的有用人才；另一方面，要加强学习，增强知识储备，提升育人“内功”，同时与时俱进，不断改进教学手段，探索适应新时代的教学规律和方法，当好人类灵魂工程师，做好人类文明传承者。\\n广大教师是打造中华民族“梦之队”的筑梦人。在新学期开学之际，各级党委和政府要牢记习近平总书记殷切嘱托，充分认识教育事业的重要地位，统筹做好常态化疫情防控和教育教学工作，确保全面复学、正常复学、安全复学，满腔热情关心教师，让教师真正成为最受社会尊重和令人羡慕的职业，在全社会营造尊师重教的良好风尚，让广大教师为党和国家事业发展培育更多永远听党话、跟党走的栋梁之材。',\n",
       "  '美国副总统彭斯、国务卿蓬佩奥18日分别发表演讲，污蔑中国“压制”宗教自由，“侵犯”人权。作为美国政府高官，他们的言论罔顾事实，颠倒黑白，是打着宗教和人权的幌子，粗暴干涉中国内政，企图在中国制造分裂和混乱，无疑对中美关系造成严重冲击。\\n以新疆与西藏为例来诋毁中国的民族宗教政策，一直是美方某些人的“兴趣点”。这次也不例外。彭斯和蓬佩奥在演讲中将新疆去极端化的职业技能教育培训中心歪曲成“再教育营”，污蔑中国对西藏佛教人士进行“迫害”。他们俩就像是偏执狂与睁眼瞎，根本看不到国际社会都承认的事实：\\n在新疆，平均每530位穆斯林就拥有一座清真寺，总数量达到2.44万座；当地政府依法设立职业技能教育培训中心，设置以学习国家通用语言文字、法律知识、职业技能和去极端化为主要内容的教学课程，以教育挽救有轻微犯罪行为或违法行为人员，努力将恐怖活动消灭在未发之前、萌芽状态。截至目前，新疆已近3年没有发生暴恐案（事）件，这说明新疆设立教培中心等预防性反恐举措成效显著，深得民心。\\n在西藏，宗教活动场所达1700多处，住寺僧尼4.6万多人，开办西藏佛学院、重视和保护藏传佛教各教派特有的活佛转世制度与宗教仪轨、出版大量宗教论著等举措都表明：西藏民众充分享有中国宪法所规定的宗教信仰自由。\\n近年来，不少到过新疆、西藏并实地探访的多国外交官都认为，中国政府在人权保护、特别是对少数民族人权保护方面做了大量行之有效的工作。俄罗斯、沙特、巴基斯坦等37国常驻日内瓦大使最近联名致函联合国人权理事会主席和人权事务高级专员，积极评价新疆人权事业发展成就和反恐、去极端化成果。\\n美国某些人根本没去过新疆与西藏，他们对当地宗教与人权保护的事实闭眼不看，对国际社会的公允评价蒙耳不听，一味醉心于编织各种谎言，以达到其不可告人的政治目的。但是，美国自己在宗教自由和人权保护上早就声名狼藉，哪有资格对他国的事指手画脚、说三道四？！目前，全美清真寺数量还不到新疆的十分之一，本届美国政府一上台便发布“禁穆令”，进一步恶化了美国国内少数族裔的宗教与人权状况。盖洛普和皮尤中心民调数据显示，美国42％的民众对种族关系感到极度担忧，75％的穆斯林认为美国社会对穆斯林存在严重歧视。美国这座自诩的“自由灯塔”都快熄灭了，有些政客居然还好意思出来公开表演，真是大言不惭，令人不齿。\\n需要指出的是，中国宪法保障公民享有充分的宗教信仰自由，但同时绝不允许任何人利用宗教进行破坏社会秩序、损害公民身体健康、妨碍国家教育制度的活动。对于境外组织和个人打着宗教旗号、从事各种违反中国宪法和法律的活动，中国坚决反对并将依法处置。这是任何一个法治国家的正当做法。\\n然而，美国有些人揣着明白装糊涂，采取“双重标准”，将中国依法处置宗教违法活动污蔑成“迫害”，甚至公然会见一些违法分子，为他们撑腰站台，干涉中国内政。这种基于一己私利的做法，不仅损害中美关系，也令美国名声进一步扫地，有损于美国自身利益。\\n不久前，中美两国元首在大阪会晤，同意继续推进以协调、合作、稳定为基调的中美关系，同意在平等和相互尊重的基础上重启经贸磋商。近日，来自美国学术界、外交界、军界以及商界的人士联名发表一份致美国总统特朗普和美国国会的公开信，指出美国视中国为敌适得其反，华盛顿并不存在一个“同中国全面对抗的共识”。在这样的背景下，彭斯、蓬佩奥等美国一些人以宗教为名干涉中国内政的做法，既违背两国元首共识，也背离两国民意。无论他们出于何种企图，都绝不会得逞。\\n中美合作是大势所趋、民心所向。彭斯和蓬佩奥等人作为美国高官，应当多做有利于促进中美关系发展的事情，而不是反其道行之。若他们一意孤行，只会令自身留下永久的历史污名。',\n",
       "  '5月22日下午，习近平总书记在参加内蒙古代表团审议时强调，“中国共产党根基在人民、血脉在人民。”“必须坚持人民至上、紧紧依靠人民、不断造福人民、牢牢植根人民，并落实到各项决策部署和实际工作之中，落实到做好统筹疫情防控和经济社会发展工作中去。”\\n为什么人、靠什么人的问题，是检验一个政党、一个政权性质的试金石。人民立场是中国共产党的根本政治立场，是我们党作为马克思主义政党区别于其他政党的显著标志。坚持以人民为中心的根本立场，任何时候都把人民群众的利益放在第一位，这是中国共产党始终得到人民信赖和拥护的根本原因，也是这个百年大党带领亿万人民不断创造新奇迹的成功秘诀。\\n与天下同利者，天下持之。擅天下之利者，天下谋之。中国共产党没有自己特殊的利益，党在任何时候都把群众利益放在第一位。“不惜一切代价”“无论年龄再大、病情再重我们都绝不放弃”，习近平总书记参加内蒙古代表团审议时的讲话，令人动容，体现了党全心全意为人民服务的根本宗旨，彰显了大国领袖的为民情怀。\\n人民至上、生命至上，这是一个执政党对人民的深情与担当。在重大疫情面前，习近平总书记要求党员干部牢记人民利益高于一切，把人民生命安全和身体健康放在第一位，在全国范围调集最优秀的医生、最先进的设备、最急需的资源，全力以赴投入疫病救治，救治费用全部由国家承担，最大程度提高了检测率、治愈率，最大程度降低了感染率、病亡率，取得抗击疫情重大战略成果。\\n求木之长者，必固其根本；欲流之远者，必浚其泉源。人民是我们党执政的最大底气，是我们共和国的坚实根基，是我们强党兴国的根本所在。在抗击新冠肺炎疫情过程中，习近平总书记多次指出，打赢疫情防控这场人民战争，必须紧紧依靠人民群众。在参加内蒙古代表团审议时，习近平总书记再次强调“人民是我们党执政的最大底气”。\\n人民是历史的创造者，是决定党和国家前途命运的根本力量。革命年代，中国共产党带领和依靠人民以血肉之躯拯救民族危亡、捍卫民族尊严；建设岁月，中国共产党带领和依靠人民战天斗地、艰苦创业，在短时间内实现了社会主义制度的伟大跨越，用心血和汗水为经济社会发展打下了坚实基础；改革开放以来，中国共产党带领和依靠人民团结奋进、勠力同心，在历史前进的逻辑中前进，在时代发展的潮流中发展，实现了中华民族从站起来到富起来强起来的伟大飞跃，中华民族比历史上任何时期都更接近、更有信心和能力实现伟大复兴的目标。同人民风雨同舟、血脉相通、生死与共，是我们党战胜一切困难和风险、取得胜利的根本保证。\\n利在一身勿谋也，利在天下者必谋之。利在一时固谋也，利在万世者更谋之。共产党就是为人民谋幸福的。习近平总书记参加内蒙古代表团审议时指出，“我们推动经济社会发展，归根到底是为了不断满足人民群众对美好生活的需要。”“党团结带领人民进行革命、建设、改革，根本目的就是为了让人民过上好日子，无论面临多大挑战和压力，无论付出多大牺牲和代价，这一点都始终不渝、毫不动摇。”\\n中国共产党把为民办事、为民造福作为最重要的政绩，把为老百姓做了多少好事实事作为检验政绩的重要标准。党员、干部特别是领导干部要清醒认识到，自己手中的权力、所处的岗位，是党和人民赋予的，只能用来为党分忧、为国干事、为民谋利。只有始终坚守人民立场，牢固树立正确的权力观、政绩观、事业观，明确好政绩为谁而树、树什么样的政绩、靠什么树政绩，不慕虚荣，不务虚功，不图虚名，做让老百姓看得见、摸得着、得实惠的实事，做为后人作铺垫、打基础、利长远的好事，脚踏实地把既定的行动纲领、战略目标、工作蓝图变为现实，才能真正做到对历史和人民负责。\\n党的根基在人民，人民是我们党执政的最大底气。我们党来自于人民，为人民而生，因人民而兴。\\n共和国的根基在人民，人民是这个国家的主人，人民有无穷无尽、无难不克的主人翁力量！有了这样的力量，什么人间奇迹都能够创造出来！']}"
      ]
     },
     "execution_count": 83,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 过滤（可以写一个函数来处理过滤情况）\n",
    "def filter_func(example):\n",
    "    return \"中国\" in example[\"content\"]\n",
    "\n",
    "# dataset[\"train\"].filter(lambda example:\"中国\" in example[\"content\"])\n",
    "new_dataset = dataset.filter(filter_func)\n",
    "new_dataset[\"train\"][:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 数据映射 （将数据进行进一步的处理）\n",
    "def add_prefix(example):\n",
    "    content = example['content']\n",
    "    if \"共产党\" in content or \"我党\" in content or \"党和\" in content or \"党的\" in content:\n",
    "        example['new_content'] = '中国共产党：'+ example['content']\n",
    "    else:\n",
    "        example['new_content'] =  '中国其他：'+ example['content']\n",
    "    return example\n",
    "\n",
    "# prefix_dataset = new_dataset.map(add_prefix,num_proc=4)\n",
    "# # prefix_dataset = new_dataset.map(add_prefix,batched=True) # 批量处理会报错\n",
    "# prefix_dataset[\"train\"][:10][\"content\"]\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "# from transformers import AutoTokenizer\n",
    "# tokenizer = AutoTokenizer.from_pretrained(\"D:/code/models/huggingface/bert-base-chinese\")\n",
    "# def process_function(example):\n",
    "#     model_inputs = tokenizer(example[\"content\"], max_length=1024, truncation=True)\n",
    "#     labels = tokenizer(example[\"title\"], max_length=128, truncation=True)\n",
    "#     model_inputs[\"labels\"] = labels[\"input_ids\"]\n",
    "#     # 得到一个完整的字典\n",
    "#     return model_inputs\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [],
   "source": [
    "# prefix_dataset = new_dataset.map(add_prefix)\n",
    "# processed_datasets = prefix_dataset.map(process_function,batched=True)\n",
    "# processed_datasets[\"train\"][\"content\"][:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {},
   "outputs": [],
   "source": [
    "# processed_datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'new_content', 'input_ids', 'token_type_ids', 'attention_mask', 'labels'],\n",
       "    num_rows: 4427\n",
       "})"
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from transformers import AutoTokenizer\n",
    "tokenizer = AutoTokenizer.from_pretrained(\"D:/code/models/huggingface/bert-base-chinese\")\n",
    "def pre_process_function(example,tokenizer=tokenizer):\n",
    "    model_inputs = tokenizer(example[\"new_content\"], max_length=1024, truncation=True)\n",
    "    labels = tokenizer(example[\"title\"], max_length=128, truncation=True)\n",
    "    model_inputs[\"labels\"] = labels[\"input_ids\"]\n",
    "    # 得到一个完整的字典\n",
    "    return model_inputs\n",
    "\n",
    "prefix_dataset = new_dataset.map(add_prefix,num_proc=8)\n",
    "processed_datasets = prefix_dataset.map(pre_process_function,remove_columns=[\"content\"],num_proc=8)\n",
    "processed_datasets[\"train\"] #  使用remove_columns实际上是去掉了之前的content列\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 保存与加载\n",
    "# processed_datasets.save_to_disk(\"./my_datasets\")\n",
    "# load_processed_datasets = load_from_disk(\"./my_datasets\")\n",
    "# load_processed_datasets\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 5850\n",
       "})"
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#加载本地数据集\n",
    "#直接加载本地文件作为数据集\n",
    "dataset = load_dataset(\"csv\",data_files=\"D:/code/datasets/huggingface/new-title-chinese/train.csv\",split=\"train\")\n",
    "dataset\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fe87c44b70e44b83859e8e8e4533df5d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Generating train split: 0 examples [00:00, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "ename": "PermissionError",
     "evalue": "[WinError 5] 拒绝访问。: 'C:/Users/Administrator/.cache/huggingface/datasets/csv/default-3a9180c73fb4cc08/0.0.0\\\\8d73bd761341cee405ddc715f0eebe400df876d7da154d3a2263a460648d6ba5\\\\csv-train.arrow'",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mPermissionError\u001b[0m                           Traceback (most recent call last)",
      "Cell \u001b[1;32mIn[92], line 1\u001b[0m\n\u001b[1;32m----> 1\u001b[0m dataset \u001b[38;5;241m=\u001b[39m \u001b[43mDataset\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mfrom_csv\u001b[49m\u001b[43m(\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mD:/code/datasets/huggingface/new-title-chinese/train.csv\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m,\u001b[49m\u001b[43msplit\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mtrain\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m)\u001b[49m\n\u001b[0;32m      2\u001b[0m dataset\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\site-packages\\datasets\\arrow_dataset.py:1048\u001b[0m, in \u001b[0;36mDataset.from_csv\u001b[1;34m(path_or_paths, split, features, cache_dir, keep_in_memory, num_proc, **kwargs)\u001b[0m\n\u001b[0;32m   1045\u001b[0m \u001b[38;5;66;03m# Dynamic import to avoid circular dependency\u001b[39;00m\n\u001b[0;32m   1046\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mio\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcsv\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m CsvDatasetReader\n\u001b[1;32m-> 1048\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43mCsvDatasetReader\u001b[49m\u001b[43m(\u001b[49m\n\u001b[0;32m   1049\u001b[0m \u001b[43m    \u001b[49m\u001b[43mpath_or_paths\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1050\u001b[0m \u001b[43m    \u001b[49m\u001b[43msplit\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43msplit\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1051\u001b[0m \u001b[43m    \u001b[49m\u001b[43mfeatures\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mfeatures\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1052\u001b[0m \u001b[43m    \u001b[49m\u001b[43mcache_dir\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mcache_dir\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1053\u001b[0m \u001b[43m    \u001b[49m\u001b[43mkeep_in_memory\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mkeep_in_memory\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1054\u001b[0m \u001b[43m    \u001b[49m\u001b[43mnum_proc\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mnum_proc\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1055\u001b[0m \u001b[43m    \u001b[49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[43mkwargs\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m   1056\u001b[0m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mread\u001b[49m\u001b[43m(\u001b[49m\u001b[43m)\u001b[49m\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\site-packages\\datasets\\io\\csv.py:56\u001b[0m, in \u001b[0;36mCsvDatasetReader.read\u001b[1;34m(self)\u001b[0m\n\u001b[0;32m     53\u001b[0m     verification_mode \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;01mNone\u001b[39;00m\n\u001b[0;32m     54\u001b[0m     base_path \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;01mNone\u001b[39;00m\n\u001b[1;32m---> 56\u001b[0m     \u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mbuilder\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mdownload_and_prepare\u001b[49m\u001b[43m(\u001b[49m\n\u001b[0;32m     57\u001b[0m \u001b[43m        \u001b[49m\u001b[43mdownload_config\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mdownload_config\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m     58\u001b[0m \u001b[43m        \u001b[49m\u001b[43mdownload_mode\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mdownload_mode\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m     59\u001b[0m \u001b[43m        \u001b[49m\u001b[43mverification_mode\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mverification_mode\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m     60\u001b[0m \u001b[43m        \u001b[49m\u001b[43mbase_path\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mbase_path\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m     61\u001b[0m \u001b[43m        \u001b[49m\u001b[43mnum_proc\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mnum_proc\u001b[49m\u001b[43m,\u001b[49m\n\u001b[0;32m     62\u001b[0m \u001b[43m    \u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m     63\u001b[0m     dataset \u001b[38;5;241m=\u001b[39m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mbuilder\u001b[38;5;241m.\u001b[39mas_dataset(\n\u001b[0;32m     64\u001b[0m         split\u001b[38;5;241m=\u001b[39m\u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39msplit, verification_mode\u001b[38;5;241m=\u001b[39mverification_mode, in_memory\u001b[38;5;241m=\u001b[39m\u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mkeep_in_memory\n\u001b[0;32m     65\u001b[0m     )\n\u001b[0;32m     66\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m dataset\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\site-packages\\datasets\\builder.py:1038\u001b[0m, in \u001b[0;36mDatasetBuilder.download_and_prepare\u001b[1;34m(self, output_dir, download_config, download_mode, verification_mode, ignore_verifications, try_from_hf_gcs, dl_manager, base_path, use_auth_token, file_format, max_shard_size, num_proc, storage_options, **download_and_prepare_kwargs)\u001b[0m\n\u001b[0;32m   1036\u001b[0m         \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39minfo\u001b[38;5;241m.\u001b[39msize_in_bytes \u001b[38;5;241m=\u001b[39m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39minfo\u001b[38;5;241m.\u001b[39mdataset_size \u001b[38;5;241m+\u001b[39m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39minfo\u001b[38;5;241m.\u001b[39mdownload_size\n\u001b[0;32m   1037\u001b[0m         \u001b[38;5;66;03m# Save info\u001b[39;00m\n\u001b[1;32m-> 1038\u001b[0m         \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_save_info()\n\u001b[0;32m   1040\u001b[0m \u001b[38;5;66;03m# Download post processing resources\u001b[39;00m\n\u001b[0;32m   1041\u001b[0m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mdownload_post_processing_resources(dl_manager)\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\contextlib.py:120\u001b[0m, in \u001b[0;36m_GeneratorContextManager.__exit__\u001b[1;34m(self, type, value, traceback)\u001b[0m\n\u001b[0;32m    118\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m \u001b[38;5;28mtype\u001b[39m \u001b[38;5;129;01mis\u001b[39;00m \u001b[38;5;28;01mNone\u001b[39;00m:\n\u001b[0;32m    119\u001b[0m     \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[1;32m--> 120\u001b[0m         \u001b[38;5;28;43mnext\u001b[39;49m\u001b[43m(\u001b[49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mgen\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    121\u001b[0m     \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mStopIteration\u001b[39;00m:\n\u001b[0;32m    122\u001b[0m         \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;01mFalse\u001b[39;00m\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\site-packages\\datasets\\builder.py:983\u001b[0m, in \u001b[0;36mDatasetBuilder.download_and_prepare.<locals>.incomplete_dir\u001b[1;34m(dirname)\u001b[0m\n\u001b[0;32m    981\u001b[0m \u001b[38;5;28;01myield\u001b[39;00m tmp_dir\n\u001b[0;32m    982\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m os\u001b[38;5;241m.\u001b[39mpath\u001b[38;5;241m.\u001b[39misdir(dirname):\n\u001b[1;32m--> 983\u001b[0m     \u001b[43mshutil\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mrmtree\u001b[49m\u001b[43m(\u001b[49m\u001b[43mdirname\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    984\u001b[0m \u001b[38;5;66;03m# LocalFileSystem.mv does copy + rm, it is more efficient to simply rename a local directory\u001b[39;00m\n\u001b[0;32m    985\u001b[0m shutil\u001b[38;5;241m.\u001b[39mmove(tmp_dir, dirname)\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\shutil.py:740\u001b[0m, in \u001b[0;36mrmtree\u001b[1;34m(path, ignore_errors, onerror)\u001b[0m\n\u001b[0;32m    738\u001b[0m     \u001b[38;5;66;03m# can't continue even if onerror hook returns\u001b[39;00m\n\u001b[0;32m    739\u001b[0m     \u001b[38;5;28;01mreturn\u001b[39;00m\n\u001b[1;32m--> 740\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43m_rmtree_unsafe\u001b[49m\u001b[43m(\u001b[49m\u001b[43mpath\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43monerror\u001b[49m\u001b[43m)\u001b[49m\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\shutil.py:613\u001b[0m, in \u001b[0;36m_rmtree_unsafe\u001b[1;34m(path, onerror)\u001b[0m\n\u001b[0;32m    611\u001b[0m         onerror(os\u001b[38;5;241m.\u001b[39mpath\u001b[38;5;241m.\u001b[39mislink, fullname, sys\u001b[38;5;241m.\u001b[39mexc_info())\n\u001b[0;32m    612\u001b[0m         \u001b[38;5;28;01mcontinue\u001b[39;00m\n\u001b[1;32m--> 613\u001b[0m     \u001b[43m_rmtree_unsafe\u001b[49m\u001b[43m(\u001b[49m\u001b[43mfullname\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43monerror\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    614\u001b[0m \u001b[38;5;28;01melse\u001b[39;00m:\n\u001b[0;32m    615\u001b[0m     \u001b[38;5;28;01mtry\u001b[39;00m:\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\shutil.py:618\u001b[0m, in \u001b[0;36m_rmtree_unsafe\u001b[1;34m(path, onerror)\u001b[0m\n\u001b[0;32m    616\u001b[0m             os\u001b[38;5;241m.\u001b[39munlink(fullname)\n\u001b[0;32m    617\u001b[0m         \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mOSError\u001b[39;00m:\n\u001b[1;32m--> 618\u001b[0m             \u001b[43monerror\u001b[49m\u001b[43m(\u001b[49m\u001b[43mos\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43munlink\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mfullname\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43msys\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mexc_info\u001b[49m\u001b[43m(\u001b[49m\u001b[43m)\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    619\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m    620\u001b[0m     os\u001b[38;5;241m.\u001b[39mrmdir(path)\n",
      "File \u001b[1;32md:\\Miniconda\\envs\\geo\\lib\\shutil.py:616\u001b[0m, in \u001b[0;36m_rmtree_unsafe\u001b[1;34m(path, onerror)\u001b[0m\n\u001b[0;32m    614\u001b[0m \u001b[38;5;28;01melse\u001b[39;00m:\n\u001b[0;32m    615\u001b[0m     \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[1;32m--> 616\u001b[0m         \u001b[43mos\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43munlink\u001b[49m\u001b[43m(\u001b[49m\u001b[43mfullname\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    617\u001b[0m     \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mOSError\u001b[39;00m:\n\u001b[0;32m    618\u001b[0m         onerror(os\u001b[38;5;241m.\u001b[39munlink, fullname, sys\u001b[38;5;241m.\u001b[39mexc_info())\n",
      "\u001b[1;31mPermissionError\u001b[0m: [WinError 5] 拒绝访问。: 'C:/Users/Administrator/.cache/huggingface/datasets/csv/default-3a9180c73fb4cc08/0.0.0\\\\8d73bd761341cee405ddc715f0eebe400df876d7da154d3a2263a460648d6ba5\\\\csv-train.arrow'"
     ]
    }
   ],
   "source": [
    "dataset = Dataset.from_csv(\"D:/code/datasets/huggingface/new-title-chinese/train.csv\",split=\"train\")\n",
    "dataset # 报错"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0af79eac41ba4dc0bfed6a99c0f1d64c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Generating train split: 0 examples [00:00, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "826059dbe23546598ccd153bf0673557",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Generating validation split: 0 examples [00:00, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 5850\n",
       "})"
      ]
     },
     "execution_count": 93,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset = load_dataset(\"csv\",data_dir=\"D:/code/datasets/huggingface/new-title-chinese\",split=\"train\")\n",
    "dataset                    # 也支持data_files参数"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 94,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>content</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>望海楼美国打“台湾牌”是危险的赌博</td>\n",
       "      <td>近期，美国国会众院通过法案，重申美国对台湾的承诺。对此，中国外交部发言人表示，有关法案严重违...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>大力推进高校治理能力建设</td>\n",
       "      <td>在推进“双一流”高校建设进程中，我们要紧紧围绕为党育人、为国育才，找准问题、破解难题，以一流...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>坚持事业为上选贤任能</td>\n",
       "      <td>育才造士，为国之本。党的干部是党和国家事业的中坚力量。习近平总书记深刻指出，“历史和现实都表...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>“大朋友”的话儿记心头</td>\n",
       "      <td>今天（6月1日）是“六一”国际儿童节。公园里，跃动着孩子们快乐嬉戏的身影；校园里，回荡着孩子...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>用好可持续发展这把“金钥匙”</td>\n",
       "      <td>11月22日晚，习近平主席在北京以视频方式出席二十国集团领导人第十五次峰会第二阶段会议，重点...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5845</th>\n",
       "      <td>进一步深化对党的性质宗旨的认识</td>\n",
       "      <td>不忘初心，方得始终。一个人也好，一个政党也好，最难得的就是历经沧桑而初心不改、饱经风霜而本色...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5846</th>\n",
       "      <td>以科学务实书写抗疫“中国答卷”</td>\n",
       "      <td>2020年席卷全球的新冠肺炎疫情，不管对于中国，还是对于全球，都是一次大考。这次大考，考验的...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5847</th>\n",
       "      <td>“新基建”重在抓好新机遇</td>\n",
       "      <td>新华社北京3月23日电 近日，中央对加快新型基础设施建设进度作出部署，有关部门和地方纷纷出台...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5848</th>\n",
       "      <td>“囤积知识”只是学习第一步</td>\n",
       "      <td>微信收藏的未读文章达数百篇，下载的书籍和电影迟迟未看，手机、电脑的内存频频告急……有人说：互...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5849</th>\n",
       "      <td>“最牵挂的一件大事”</td>\n",
       "      <td>“脱贫攻坚是我心里最牵挂的一件大事。”4月15日，习近平总书记专程探访位于武陵山区的重庆市石...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5850 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                  title                                            content\n",
       "0     望海楼美国打“台湾牌”是危险的赌博  近期，美国国会众院通过法案，重申美国对台湾的承诺。对此，中国外交部发言人表示，有关法案严重违...\n",
       "1          大力推进高校治理能力建设  在推进“双一流”高校建设进程中，我们要紧紧围绕为党育人、为国育才，找准问题、破解难题，以一流...\n",
       "2            坚持事业为上选贤任能  育才造士，为国之本。党的干部是党和国家事业的中坚力量。习近平总书记深刻指出，“历史和现实都表...\n",
       "3           “大朋友”的话儿记心头  今天（6月1日）是“六一”国际儿童节。公园里，跃动着孩子们快乐嬉戏的身影；校园里，回荡着孩子...\n",
       "4        用好可持续发展这把“金钥匙”  11月22日晚，习近平主席在北京以视频方式出席二十国集团领导人第十五次峰会第二阶段会议，重点...\n",
       "...                 ...                                                ...\n",
       "5845    进一步深化对党的性质宗旨的认识  不忘初心，方得始终。一个人也好，一个政党也好，最难得的就是历经沧桑而初心不改、饱经风霜而本色...\n",
       "5846    以科学务实书写抗疫“中国答卷”  2020年席卷全球的新冠肺炎疫情，不管对于中国，还是对于全球，都是一次大考。这次大考，考验的...\n",
       "5847       “新基建”重在抓好新机遇  新华社北京3月23日电 近日，中央对加快新型基础设施建设进度作出部署，有关部门和地方纷纷出台...\n",
       "5848      “囤积知识”只是学习第一步  微信收藏的未读文章达数百篇，下载的书籍和电影迟迟未看，手机、电脑的内存频频告急……有人说：互...\n",
       "5849         “最牵挂的一件大事”  “脱贫攻坚是我心里最牵挂的一件大事。”4月15日，习近平总书记专程探访位于武陵山区的重庆市石...\n",
       "\n",
       "[5850 rows x 2 columns]"
      ]
     },
     "execution_count": 94,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "data = pd.read_csv('D:/code/datasets/huggingface/new-title-chinese/train.csv')\n",
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['title', 'content'],\n",
       "    num_rows: 5850\n",
       "})"
      ]
     },
     "execution_count": 98,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# dataset =Dataset.from_pandas(data,split=\"train\")\n",
    "dataset =Dataset.from_pandas(data)\n",
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#如果要处理列表，则列表中要是字典"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8bf2b9a2f69d4a0d95611bda64a701aa",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Generating train split: 0 examples [00:00, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['answers', 'context_id', 'context', 'choices'],\n",
       "        num_rows: 9638\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 99,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "load_dataset(\"json\",data_files=\"cmrc2019_train.json\",field  = \"data\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.19"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
